Karlheinz Riedle bắt đầu sự nghiệp với đội bóng ít tên tuổi của Đức TSV Ellhofen năm 1984 trước khi chuyển đến SV Weiler. Mùa bóng 1985-86 anh đã ghi 22 bàn thắng cho câu lạc bộ và được gọi vào đội tuyển U-21 Đức. Sau đó ông chuyển câu lạc bộ 1 lần nữa, gia nhập Blau-Weiss Berlin.

Năm 1987, đánh dấu 1 cột mốc quan trọng trong sự nghiệp bóng đá của Riedle bằng việc ký hợp đồng với Werder Bremen. Anh góp công giúp Bremen dành chức vô địch ngay mùa bóng đầu tiên với 18 bàn thắng ghi được sau 33 trận đấu. Cũng trong năm này anh ghi bàn thắng đầu tiên cho đội tuyển Đức cũng vào năm đó trong chiến thắng 4-0 trước Phần Lan.

Năm 1990, Riedle gia nhập Lazio trước khi trở lại Đức thi đấu cho Borussia Dortmund năm 1993. Tại đây, anh cùng Dortmund giành danh hiệu Bundesliga năm 1995 và 1996. Đạt đến đỉnh cao của sự nghiệp khi ghi 2 bàn thắng trong trận chung kết cúp C1 giúp Dortmund vượt qua Juventus với tỉ số 3-1.

Anh đến Liverpool năm 1997 sau khi Stan Collymore chuyến đến Aston Villa. Anh đã ghi hơn 10 bàn thắng ở mùa đầu tiên, Riedle được câu lạc bộ kéo dài hợp đồng thêm 1 năm. Sau đó Riedle đã quyết định chuyển sang thi đấu cho đội bóng hạng nhất Fulham vào tháng 9 năm 1999.